How can data augmentation improve attribution maps for disease subtype explainability?

International audienceAs deep learning has been widely used for computer aided-diagnosis, we wished to know whether attribution maps obtained using gradient back-propagation could correctly highlight the patterns of disease subtypes discovered by a deep learning classifier. As the correctness of attribution maps is difficult to evaluate directly on medical images, we used synthetic data mimicking the difference between brain MRI of controls and demented patients to design more reliable evaluation criteria of attribution maps. We demonstrated that attribution maps may mix the regions associated with different subtypes for small data sets while they could accurately characterize both subtypes using a large data set. We then proposed simple data augmentation techniques and showed that they could improve the coherence of the explanations for a small data set

Deep learning for brain disorders: from data processing to disease treatment

International audienceIn order to reach precision medicine and improve patients' quality of life, machine learning is increasingly used in medicine. Brain disorders are often complex and heterogeneous, and several modalities such as demographic, clinical, imaging, genetics and environmental data have been studied to improve their understanding. Deep learning, a subpart of machine learning, provides complex algorithms that can learn from such various data. It has become state of the art in numerous fields, including computer vision and natural language processing, and is also growingly applied in medicine. In this article, we review the use of deep learning for brain disorders. More specifically, we identify the main applications, the concerned disorders and the types of architectures and data used. Finally, we provide guidelines to bridge the gap between research studies and clinical routine

Advances in the Clinica software platform for clinical neuroimaging studies

International audienc

Predicting the Progression of Mild Cognitive Impairment Using Machine Learning: A Systematic and Quantitative Review

Context. Automatically predicting if a subject with Mild Cognitive Impairment (MCI) is going to progress to Alzheimer's disease (AD) dementia in the coming years is a relevant question regarding clinical practice and trial inclusion alike. A large number of articles have been published, with a wide range of algorithms, input variables, data sets and experimental designs. It is unclear which of these factors are determinant for the prediction, and affect the predictive performance that can be expected in clinical practice. We performed a systematic review of studies focusing on the automatic prediction of the progression of MCI to AD dementia. We systematically and statistically studied the influence of different factors on predictive performance. Method. The review included 172 articles, 93 of which were published after 2014. 234 experiments were extracted from these articles. For each of them, we reported the used data set, the feature types (defining 10 categories), the algorithm type (defining 12 categories), performance and potential methodological issues. The impact of the features and algorithm on the performance was evaluated using t-tests on the coefficients of mixed effect linear regressions. Results. We found that using cognitive, fluorodeoxyglucose-positron emission tomog-raphy or potentially electroencephalography and magnetoencephalography variables significantly improves predictive performance compared to not including them (p=0.046, 0.009 and 0.003 respectively), whereas including T1 magnetic resonance imaging, amyloid positron emission tomography or cerebrospinal fluid AD biomarkers does not show a significant effect. On the other hand, the algorithm used in the method does not have a significant impact on performance. We identified several methodological issues. Major issues, found in 23.5% of studies, include the absence of a test set, or its use for feature selection or parameter tuning. Other issues, found in 15.0% of studies, pertain to the usability of the method in clinical practice. We also highlight that short-term predictions are likely not to be better than predicting that subjects stay stable over time. Finally, we highlight possible biases in publications that tend not to publish methods with poor performance on large data sets, which may be censored as negative results. Conclusion. Using machine learning to predict MCI to AD dementia progression is a promising and dynamic field. Among the most predictive modalities, cognitive scores are the cheapest and less invasive, as compared to imaging. The good performance they offer question the wide use of imaging for predicting diagnosis evolution, and call for further exploring fine cognitive assessments. Issues identified in the studies highlight the importance of establishing good practices and guidelines for the use of machine learning as a decision support system in clinical practice

New advances in the Clinica software platform for clinical neuroimaging studies

International audienc

Méthodes d’apprentissage profond reproductibles et interprétables pour le diagnostic, le pronostic et l’identification de sous-groupes de la maladie d’Alzheimer à partir de données de neuroimagerie

The goal of this PhD was the validation of the existence and the discovery of new subtypes of Alzheimer’s disease, the first cause of dementia worldwide. Indeed, despite its discovery more than a century ago, this disease is still not well defined and existing treatments are only weakly effective, possibly because several phenotypes exist within the disease. In order to explore its heterogeneity, we employed deep learning methods applied to a neuroimaging modality, structural magnetic resonance imaging.However, the discovery of important methodological biases in many studies in our field, as well as the lack of consensus regarding deep learning interpretability, partly changed the main objective of the PhD to focus more on issues of validation, robustness and interpretability of deep learning. Then, to correctly assess the ability of deep learning to detect Alzheimer’s disease, three experimental studies were conducted. The first one is a study of deep learning methods for Alzheimer’s classification and allowed a fair comparison of the methods. The second study found a lack of robustness of classification with deep learning in terms of atrophy patterns discovered using interpretability methods. Finally, the last study proposed a subtype discovery method aided by data augmentation. Although it works on synthetic data, it does not generalize to real data.Experimental results of this PhD were obtained thanks to ClinicaDL, one major contribution of this PhD. It is an open source Python library that was used to improve the reproducibility of deep learning experiments.L’objectif de cette thèse était la validation de l’existence ainsi que la découverte de nouveaux sous-types au sein de la maladie d’Alzheimer, première cause de démence au monde. Afin d’explorer son hétérogénéité, nous avons employé des méthodes d’apprentissage profond appliquées à une modalité de neuroimagerie, l’imagerie par résonance magnétique structurelle.Cependant, la découverte de biais méthodologiques importants dans de nombreuses études de notre domaine, ainsi que l’absence de consensus de la communauté sur la manière d’interpréter les résultats des méthodes d’apprentissage profond a fait en partie dévier la thèse de son objectif principal pour s’orienter d’avantage vers des problématiques de validation, de robustesse et d’interprétabilité de l’apprentissage profond. Ainsi, trois études expérimentales ont été menées pour s’assurer de la capacité des réseaux profonds de correctement détecter la maladie. La première est une étude expérimentale de méthodes d’apprentissage profond pour la classification de la maladie d’Alzheimer et a permis d’établir une juste comparaison des méthodes. La seconde étude a permis de constater un manque de robustesse de la classification avec l’apprentissage profond en termes de motifs d’atrophie découverts à l’aide de méthodes d’interprétabilité. Enfin, la dernière étude propose une méthode de découverte de sous-types aidée par l’augmentation de données. Bien que fonctionnant sur des données synthétiques, celle-ci ne généralise pas aux données réelles.Une contribution majeure de la thèse est la librairie ClinicaDL, grâce à laquelle les résultats expérimentaux de la thèse ont été produits de manière à être reproductibles

Méthodes d’apprentissage profond reproductibles et interprétables pour le diagnostic, le pronostic et l’identification de sous-groupes de la maladie d’Alzheimer à partir de données de neuroimagerie

The goal of this PhD was the validation of the existence and the discovery of new subtypes of Alzheimer’s disease, the first cause of dementia worldwide. Indeed, despite its discovery more than a century ago, this disease is still not well defined and existing treatments are only weakly effective, possibly because several phenotypes exist within the disease. In order to explore its heterogeneity, we employed deep learning methods applied to a neuroimaging modality, structural magnetic resonance imaging.However, the discovery of important methodological biases in many studies in our field, as well as the lack of consensus regarding deep learning interpretability, partly changed the main objective of the PhD to focus more on issues of validation, robustness and interpretability of deep learning. Then, to correctly assess the ability of deep learning to detect Alzheimer’s disease, three experimental studies were conducted. The first one is a study of deep learning methods for Alzheimer’s classification and allowed a fair comparison of the methods. The second study found a lack of robustness of classification with deep learning in terms of atrophy patterns discovered using interpretability methods. Finally, the last study proposed a subtype discovery method aided by data augmentation. Although it works on synthetic data, it does not generalize to real data.Experimental results of this PhD were obtained thanks to ClinicaDL, one major contribution of this PhD. It is an open source Python library that was used to improve the reproducibility of deep learning experiments.L’objectif de cette thèse était la validation de l’existence ainsi que la découverte de nouveaux sous-types au sein de la maladie d’Alzheimer, première cause de démence au monde. Afin d’explorer son hétérogénéité, nous avons employé des méthodes d’apprentissage profond appliquées à une modalité de neuroimagerie, l’imagerie par résonance magnétique structurelle.Cependant, la découverte de biais méthodologiques importants dans de nombreuses études de notre domaine, ainsi que l’absence de consensus de la communauté sur la manière d’interpréter les résultats des méthodes d’apprentissage profond a fait en partie dévier la thèse de son objectif principal pour s’orienter d’avantage vers des problématiques de validation, de robustesse et d’interprétabilité de l’apprentissage profond. Ainsi, trois études expérimentales ont été menées pour s’assurer de la capacité des réseaux profonds de correctement détecter la maladie. La première est une étude expérimentale de méthodes d’apprentissage profond pour la classification de la maladie d’Alzheimer et a permis d’établir une juste comparaison des méthodes. La seconde étude a permis de constater un manque de robustesse de la classification avec l’apprentissage profond en termes de motifs d’atrophie découverts à l’aide de méthodes d’interprétabilité. Enfin, la dernière étude propose une méthode de découverte de sous-types aidée par l’augmentation de données. Bien que fonctionnant sur des données synthétiques, celle-ci ne généralise pas aux données réelles.Une contribution majeure de la thèse est la librairie ClinicaDL, grâce à laquelle les résultats expérimentaux de la thèse ont été produits de manière à être reproductibles

Méthodes d’apprentissage profond reproductibles et interprétables pour le diagnostic, le pronostic et l’identification de sous-groupes de la maladie d’Alzheimer à partir de données de neuroimagerie

The goal of this PhD was the validation of the existence and the discovery of new subtypes of Alzheimer’s disease, the first cause of dementia worldwide. Indeed, despite its discovery more than a century ago, this disease is still not well defined and existing treatments are only weakly effective, possibly because several phenotypes exist within the disease. In order to explore its heterogeneity, we employed deep learning methods applied to a neuroimaging modality, structural magnetic resonance imaging.However, the discovery of important methodological biases in many studies in our field, as well as the lack of consensus regarding deep learning interpretability, partly changed the main objective of the PhD to focus more on issues of validation, robustness and interpretability of deep learning. Then, to correctly assess the ability of deep learning to detect Alzheimer’s disease, three experimental studies were conducted. The first one is a study of deep learning methods for Alzheimer’s classification and allowed a fair comparison of the methods. The second study found a lack of robustness of classification with deep learning in terms of atrophy patterns discovered using interpretability methods. Finally, the last study proposed a subtype discovery method aided by data augmentation. Although it works on synthetic data, it does not generalize to real data.Experimental results of this PhD were obtained thanks to ClinicaDL, one major contribution of this PhD. It is an open source Python library that was used to improve the reproducibility of deep learning experiments.L’objectif de cette thèse était la validation de l’existence ainsi que la découverte de nouveaux sous-types au sein de la maladie d’Alzheimer, première cause de démence au monde. Afin d’explorer son hétérogénéité, nous avons employé des méthodes d’apprentissage profond appliquées à une modalité de neuroimagerie, l’imagerie par résonance magnétique structurelle.Cependant, la découverte de biais méthodologiques importants dans de nombreuses études de notre domaine, ainsi que l’absence de consensus de la communauté sur la manière d’interpréter les résultats des méthodes d’apprentissage profond a fait en partie dévier la thèse de son objectif principal pour s’orienter d’avantage vers des problématiques de validation, de robustesse et d’interprétabilité de l’apprentissage profond. Ainsi, trois études expérimentales ont été menées pour s’assurer de la capacité des réseaux profonds de correctement détecter la maladie. La première est une étude expérimentale de méthodes d’apprentissage profond pour la classification de la maladie d’Alzheimer et a permis d’établir une juste comparaison des méthodes. La seconde étude a permis de constater un manque de robustesse de la classification avec l’apprentissage profond en termes de motifs d’atrophie découverts à l’aide de méthodes d’interprétabilité. Enfin, la dernière étude propose une méthode de découverte de sous-types aidée par l’augmentation de données. Bien que fonctionnant sur des données synthétiques, celle-ci ne généralise pas aux données réelles.Une contribution majeure de la thèse est la librairie ClinicaDL, grâce à laquelle les résultats expérimentaux de la thèse ont été produits de manière à être reproductibles

Méthodes d’apprentissage profond reproductibles et interprétables pour le diagnostic, le pronostic et l’identification de sous-groupes de la maladie d’Alzheimer à partir de données de neuroimagerie

The goal of this PhD was the validation of the existence and the discovery of new subtypes of Alzheimer’s disease, the first cause of dementia worldwide. Indeed, despite its discovery more than a century ago, this disease is still not well defined and existing treatments are only weakly effective, possibly because several phenotypes exist within the disease. In order to explore its heterogeneity, we employed deep learning methods applied to a neuroimaging modality, structural magnetic resonance imaging. However, the discovery of important methodological biases in many studies in our field, as well as the lack of consensus regarding deep learning interpretability, partly changed the main objective of the PhD to focus more on issues of validation, robustness and interpretability of deep learning. Then, to correctly assess the ability of deep learning to detect Alzheimer’s disease, three experimental studies were conducted. The first one is a study of deep learning methods for Alzheimer’s classification and allowed a fair comparison of the methods. The second study found a lack of robustness of classification with deep learning in terms of atrophy patterns discovered using interpretability methods. Finally, the last study proposed a subtype discovery method aided by data augmentation. Although it works on synthetic data, it does not generalize to real data. Experimental results of this PhD were obtained thanks to ClinicaDL, one major contribution of this PhD. It is an open source Python library that was used to improve the reproducibility of deep learning experiments.L’objectif de cette thèse était la validation de l’existence ainsi que la découverte de nouveaux sous-types au sein de la maladie d’Alzheimer, première cause de démence au monde. En effet, malgré sa découverte il y a plus d’un siècle, celle-ci n’est toujours pas bien définie et les traitements existants ne montrent qu’une faible efficacité, ce qui pourrait être dû à l’existence de phénotypes différents au sein de la maladie. Afin d’explorer son hétérogénéité, nous avons employé des méthodes d’apprentissage profond appliquées à une modalité de neuroimagerie, l’imagerie par résonance magnétique structurelle. Cependant, la découverte de biais méthodologiques importants dans de nombreuses études de notre domaine, ainsi que l’absence de consensus de la communauté sur la manière d’interpréter les résultats des méthodes d’apprentissage profond a fait en partie dévier la thèse de son objectif principal pour s’orienter d’avantage vers des problématiques de validation, de robustesse et d’interprétabilité de l’apprentissage profond. Ainsi, trois études expérimentales ont été menées pour s’assurer de la capacité des réseaux profonds de correctement détecter la maladie. La première est une étude expérimentale de méthodes d’apprentissage profond pour la classification de la maladie d’Alzheimer et a permis d’établir une juste comparaison des méthodes. La seconde étude a permis de constater un manque de robustesse de la classification avec l’apprentissage profond en termes de motifs d’atrophie découverts à l’aide de méthodes d’interprétabilité. Enfin, la dernière étude propose une méthode de découverte de sous-types aidée par l’augmentation de données. Bien que fonctionnant sur des données synthétiques, celle-ci ne généralise pas aux données réelles. Une contribution majeure de la thèse est la librairie ClinicaDL, grâce à laquelle les résultats expérimentaux de la thèse ont été produits de manière à être reproductibles

Reproducibility in machine learning for medical imaging

International audienceReproducibility is a cornerstone of science, as the replication of findings is the process through which they become knowledge. It is widely considered that many fields of science are undergoing a reproducibility crisis. This has led to the publications of various guidelines in order to improve research reproducibility. This didactic chapter intends at being an introduction to reproducibility for researchers in the field of machine learning for medical imaging. We first distinguish between different types of reproducibility. For each of them, we aim at defining it, at describing the requirements to achieve it and at discussing its utility. The chapter ends with a discussion on the benefits of reproducibility and with a plea for a non-dogmatic approach to this concept and its implementation in research practice